# Elasticsearch

## 1. 개요
Elasticsearch는 Apache Lucene 기반의 분산 검색 및 분석 엔진으로, 대량의 데이터를 실시간으로 저장, 검색, 분석할 수 있도록 설계된 시스템이다. (2021년부터 라이선스가 SSPL 및 Elastic License로 변경되어 현재는 '소스 공개(Source Available)' 모델로 운영되고 있다.)

단순한 키워드 검색을 넘어 전문 검색(Full-text Search) 기능을 제공하며, 분산 아키텍처를 통해 데이터 규모가 커짐에 따라 서버를 추가하여 성능을 확장할 수 있는 수평적 확장성(Scalability)이 특징이다. JSON 기반의 문서(Document) 형태로 데이터를 저장하며, REST API를 통해 외부 시스템과 유연하게 연동된다.

## 2. 핵심 동작 원리

### 2.1 역색인 (Inverted Index)
Elasticsearch의 빠른 검색 속도의 핵심은 **역색인(Inverted Index)** 구조에 있다. 일반적인 데이터베이스가 '문서 → 포함된 단어' 순으로 저장한다면, 역색인은 '단어 → 해당 단어가 포함된 문서의 목록' 순으로 저장하는 방식이다.

| 구분 | 일반 DB Index (B-Tree 등) | Elasticsearch 역색인 (Inverted Index) |
| :--- | :--- | :--- |
| **저장 방식** | 레코드의 특정 컬럼 값을 기준으로 정렬 저장 | 단어(Term)를 추출하여 해당 단어가 나타난 문서 ID를 매핑 |
| **검색 방식** | 특정 값과 일치하는 행을 찾거나 범위 검색에 유리 | 특정 단어가 포함된 모든 문서를 즉시 찾아내는 전문 검색에 유리 |
| **속도 특성** | 데이터 양이 많아질수록 검색 범위가 넓어지면 느려짐 | 문서의 양과 관계없이 단어 사전에서 즉시 위치를 찾으므로 매우 빠름 |

### 2.2 텍스트 분석기 (Analyzer)
데이터가 저장되기 전, 텍스트를 검색 가능한 단위로 쪼개는 과정을 거치는데 이를 **분석(Analysis)**이라고 한다. 분석기는 다음 세 단계로 구성된다.
1. **Character Filter**: HTML 태그 제거, 특수문자 변환 등 텍스트 전처리 수행
2. **Tokenizer**: 문장을 단어 단위(Token)로 분리 (예: 공백 기준 분리)
3. **Token Filter**: 소문자 변환, 불용어(Stopwords) 제거, 동의어 처리 등을 통해 토큰을 정제

## 3. 데이터 구조 및 용어

Elasticsearch는 스키마리스(Schemaless) 특성을 가지며, JSON 문서 형태로 데이터를 관리한다.

### 3.1 데이터 계층 구조
- **Index**: 관련 있는 문서들의 논리적 집합 (RDBMS의 데이터베이스/테이블 역할)
- **Document**: 저장되는 최소 단위의 데이터 객체 (JSON 형식)
- **Field**: 문서 내의 개별 데이터 항목 (Key-Value 쌍)
- **Type**: 과거 버전에서 사용되었으나, 데이터 타입의 혼선을 방지하기 위해 7.0 버전 이후부터는 삭제되어 하나의 인덱스에는 하나의 타입만 존재한다.

### 3.2 RDBMS와의 용어 매핑

| RDBMS | Elasticsearch | 설명 |
| :--- | :--- | :--- |
| Database / Table | **Index** | 데이터가 저장되는 최상위 논리적 그룹 |
| Row | **Document** | 실제 저장되는 하나의 데이터 레코드 |
| Column | **Field** | 데이터의 속성 |
| Schema | **Mapping** | 필드의 데이터 타입(text, keyword, date 등) 정의 |
| SQL | **Query DSL** | 데이터를 조회하기 위한 전용 질의 언어 |

**참고: 주요 데이터 타입의 차이**
- **`text`**: 분석기(Analyzer)를 거쳐 토큰화되어 저장된다. 문장 내 특정 단어를 찾는 **전문 검색(Full-text Search)**에 사용된다.
- **`keyword`**: 분석 과정을 거치지 않고 입력된 값 그대로 저장된다. **정확한 일치(Exact Match)** 검색, 정렬, 집계(Aggregation)에 사용된다.

## 4. 클러스터 아키텍처

### 4.1 노드 (Node)와 클러스터 (Cluster)
- **노드(Node)**: Elasticsearch가 설치되어 실행 중인 단일 서버 인스턴스이다.
- **클러스터(Cluster)**: 하나 이상의 노드가 모여 데이터를 공유하고 함께 작동하는 집합체이다.

노드는 역할(Role)에 따라 다음과 같이 구분되어 효율적으로 운영된다.
- **Master-eligible Node**: 클러스터의 상태 관리(인덱스 생성/삭제, 노드 추가/제거 등)를 담당하는 마스터 노드로 선출될 수 있는 노드이다.
- **Data Node**: 실제 데이터를 저장하고 CRUD, 검색, 집계 작업을 수행하는 노드이다.
- **Coordinating Node**: 클라이언트의 요청을 받아 적절한 데이터 노드로 분산시키고, 결과를 취합하여 반환하는 게이트웨이 역할을 수행한다.

### 4.2 샤드(Shard)와 레플리카(Replica)
대용량 데이터를 효율적으로 처리하기 위해 인덱스를 여러 조각으로 나누어 저장한다.
- **샤드(Shard)**: 인덱스를 물리적으로 나눈 단위이다. 데이터를 여러 노드에 분산 저장하여 병렬 처리 성능을 높인다.
- **레플리카(Replica)**: 프라이머리 샤드의 복제본이다. 특정 노드에 장애가 발생했을 때 데이터 유실을 방지(고가용성)하고, 읽기 요청을 분산시켜 검색 성능을 향상시킨다.

**샤드 배치 및 할당 전략**
- **분산 배치**: Elasticsearch는 가용성을 위해 동일한 샤드와 그 레플리카를 절대 같은 노드에 배치하지 않는다.
- **자동 할당**: 클러스터는 노드의 디스크 사용량과 샤드 수를 고려하여 균형 있게 샤드를 자동 할당한다.
- **할당 제어**: `cluster.routing.allocation` 설정을 통해 특정 노드에 샤드가 배치되지 않도록 제한하거나, 특정 속성을 가진 노드에만 배치하도록 제어할 수 있다.

## 5. 주요 기능 및 활용

### 5.1 REST API 및 CRUD
HTTP 메서드를 통해 데이터를 조작한다.

**문서 생성 및 수정**
```http
PUT /products/_doc/1
{
  "name": "Apple MacBook Pro",
  "price": 2500000,
  "category": "Laptop"
}
```

**문서 조회**
```http
GET /products/_doc/1
```

**문서 삭제**
```http
DELETE /products/_doc/1
```

### 5.2 Query DSL (Domain Specific Language)
JSON 기반의 쿼리 언어를 사용하여 복잡한 검색 조건을 설정한다.

**예시: 'apple'이라는 단어가 포함된 'title' 필드를 가진 문서 검색**
```json
GET /products/_search
{
  "query": {
    "match": {
      "title": "apple"
    }
  }
}
```

### 5.3 집계 (Aggregation)
단순 검색을 넘어 데이터의 통계적 분석을 수행하는 기능이다. 버킷(Bucket) 집계와 메트릭(Metric) 집계로 나뉘며, 로그 분석이나 대시보드 구성에 필수적이다.

## 6. 성능 최적화 및 튜닝 가이드

### 6.1 인덱싱 성능 최적화
- **Bulk API 사용**: 단건 요청 대신 `_bulk` API를 사용하여 여러 문서를 한 번에 전송함으로써 네트워크 오버헤드를 줄인다.
- **Refresh Interval 조정**: 기본 1초인 `index.refresh_interval`을 늘리면 디스크 I/O가 감소하여 쓰기 성능이 향상된다. (실시간성이 덜 중요한 경우 설정)
- **레플리카 일시 중지**: 대량의 초기 데이터를 마이그레이션할 때는 레플리카 수를 0으로 설정하고, 완료 후 다시 늘리는 것이 효율적이다.

### 6.2 검색 성능 최적화
- **Filter Context 활용**: 점수(Score) 계산이 필요 없는 조건은 `query` 대신 `filter` 절을 사용하여 캐싱 효과를 극대화한다.
- **필드 타입 최적화**: 전문 검색이 필요 없는 필드는 `text` 대신 `keyword` 타입을 사용하여 메모리 사용량을 줄이고 정확한 일치 검색 속도를 높인다.

## 7. ELK 스택 (Elastic Stack)

Elasticsearch는 단독으로도 강력하지만, 주변 도구들과 결합하여 강력한 데이터 파이프라인을 형성한다.

1. **Beats**: 경량 데이터 수집기. 서버의 로그, 메트릭 등을 수집하여 전달한다.
2. **Logstash**: 데이터 수집 및 가공 엔진. 다양한 소스에서 데이터를 받아 필터링, 변환 후 Elasticsearch로 전송한다.
3. **Elasticsearch**: 수집된 데이터를 저장하고 실시간으로 검색/분석한다.
4. **Kibana**: 시각화 도구. Elasticsearch에 저장된 데이터를 차트, 그래프, 지도로 시각화하여 대시보드를 제공한다.

**데이터 흐름: `Beats` → `Logstash` → `Elasticsearch` → `Kibana`**

## 8. 실제 활용 사례 (Use Case)

- **전자상거래 상품 검색**: 수백만 개의 상품 중 키워드, 카테고리, 가격 범위 등을 조합한 고속 필터링 검색 구현.
- **중앙 집중형 로그 관리**: 여러 서버에서 발생하는 시스템 로그를 한곳에 모아 에러 패턴을 분석하고 실시간 모니터링 알람 설정.
- **보안 분석 (SIEM)**: 네트워크 트래픽 로그를 분석하여 이상 징후(DDoS 공격, 무단 침입 시도 등)를 실시간으로 탐지.
- **추천 시스템**: 사용자 행동 로그를 분석하여 유사한 취향의 사용자가 선호하는 콘텐츠를 빠르게 검색하여 추천.

## 부록: 설치 및 환경 설정

### A.1 설치 단계
1. **Java 설치**: Elasticsearch는 JVM 기반이므로 JDK(Java Development Kit) 설치가 필수적이다.
2. **패키지 다운로드**: 공식 홈페이지에서 OS에 맞는 압축 파일 또는 패키지 매니저(apt, yum)를 통해 설치한다.
3. **설정 파일 수정 (`elasticsearch.yml`)**:
   ```yaml
   # 클러스터 및 노드 설정
   cluster.name: my-elasticsearch-cluster
   node.name: node-1

   # 네트워크 설정
   network.host: 0.0.0.0
   http.port: 9200

   # 클러스터 구성 (Discovery)
   discovery.seed_hosts: ["192.168.0.1", "192.168.0.2"]
   cluster.initial_master_nodes: ["node-1", "node-2"]
   ```

### A.2 실행 및 확인
서비스 실행 후 `curl -X GET "localhost:9200"` 명령어를 통해 클러스터 정보가 JSON 형태로 반환되는지 확인한다.